YANchor-4B: Effective Long-Horizon Reasoning in O(N) Time with O(1) Memory
YANchor-4B:O(N)时间与O(1)内存下的长时程推理
🧭 长时程推理 · 线性复杂度架构 ★ 深度解读
Rocore Matrix · Stonehill Tech · Carnegie Mellon University
用固定容量记忆锚点结合循环状态与局部注意力,在O(N)/O(1)下实现强长时程推理
📌 工作参考价值(4 点)
- 高并发长序列在线推理:如果你的 Agent 或推荐链路需要处理长会话/长用户历史,可考虑用固定状态 + 显式记忆的结构,避免 KV cache 随长度膨胀,显著降低显存峰值,提升批量吞吐;适合电商大促高 QPS 场景。
- 业务记忆选择:论文中每个 KV group 独立保留 Top-K 高分记录,admission score 在写入时计算,类似信息重要性过滤器。推荐系统可借鉴此设计,对用户行为序列或搜索 Session 做关键记忆选择,优先保存高价值交互(如加购、支付),而不只是最近 N 条。
- 多路历史表示:循环状态压缩全局、局部窗口保留近期、独立记忆保留远期关键记录,三者互补。在生成式推荐或对话式导购中,可以解耦用户长期偏好、近期意图和关键事件,分别建模后再融合。
- RLVR 可借鉴:用可验证结果(如是否点击、是否成交)做 outcome-guided 强化学习,提升生成任务(query 推荐、文案)的准确率,而不只依赖监督数据。